前言昨天我們完成了資料的下載、讀取、初步檢視以及簡單視覺化，對資料集的結構、特徵分布和目標類別已有基本認識。今天，我們要在此基礎上，進行資料前處理（Data P...
前言昨天完成了開發環境建置，今天我們要開始準備邏輯迴歸的資料。首先從網路下載範例資料檔案，然後導入 Jupyter Notebook，進行初步檢視與簡單視覺化（...
前言昨天我們學到了邏輯迴歸的數學基礎，今天要開始準備實作環境。我們會透過 Anaconda 建立虛擬環境，並使用 Jupyter Notebook 作為開發工具...
前言昨天我們介紹了分類任務，今天要從數學和統計的角度認識一個經典的分類演算法——邏輯迴歸 (Logistic Regression)。為了理解它，先要知道它的前...
前言昨天我們談到監督式學習的兩大任務：分類（Classification）與迴歸（Regression）。其中分類任務在生活中最常見，也最容易理解。那麼，分類任...
前言 昨天我們快速比較了 AI、ML、DL 的差異，並提到 ML 的一大類型是 監督式學習 (Supervised Learning)。那麼，監督式學習究竟是怎...
前言昨天我們提到，AI 需要透過資料來學習與訓練。那麼，資料是如何一步步變成可以做出判斷的 AI 模型呢？其實，AI 的核心是各種算法 (Algorithm)，...
前言昨天我們分別介紹了 AI 與 Data 的基本概念。今天，我們要更進一步，探討兩者之間的關係，說明為什麼資料是 AI 的基礎，以及 AI 如何透過資料發揮價...
前言AI是近年來引起大家熱烈討論的議題，無論是工作還是生活，我們越來越常看到AI的應用。其中AI與Data有著密不可分的關係，掌握AI與Data相關知識，可以提...
關於GCP 機器學習(後面會簡稱ML)的pipeline部署分為好幾個階段。從data ingestion/preparation再到根據訓練出來的模型來做da...
為什麼需要資料管理工具 隨著開發過程持續推進，通常會產生大量版本的程式碼，並需要使用版本控制工具追蹤這些程式碼，以利後續維護。除了程式碼，訓練資料也需要進行版本...
今天我們會使用 MLDM + MLDE 來進行貓狗圖片分類的卷積神經網路（Convolutional Neural Network，CNN）模型訓練，並進行以下...
過去在 DL 模型的開發過程中，要追蹤大量的資料和實驗結果可能需要結合多項工具，形成較高的學習成本；針對這些問題，HPE 推出 MLDM、MLDE 作為解決方案...
這幾天的文章主要分享三個頗受好評的模型實驗管理工具，市面上還有很多類似的工具，這些工具各有特色與強項，團隊可視情況選擇好維護的工具。 這些工具的目的都是在幫助團...
相較於 Tensorboard 與 Weight&Biases，MLflow 更著重於「公司內部的多人專案」的實驗管理上，主要讓工程師自己建立屬於公司內...
大致功能與 Tensorboard 相同，但是整合了更多的深度學習(Llamaindex、Langchain、HuggingFace…)與機器學習(Sciki...
Tensorboard 算是深度學習早期最著名的實驗管理工具，至今依然十分熱門，它主打幾個功能： 視覺化的方式呈現模型訓練的Loss曲線和評估指標 視覺化的方...
我們知道在做模型建立、模型驗證的時候需要思考以下幾個問題： 多人協作如何紀錄分析每位協作者的實驗紀錄，如何從眾多的實驗紀錄中快速比較出預測效果最好的模型？ 當...
上傳資料到 Repository 先執行以下指令來將範例檔案 0050.csv 上傳到 Repository： (mldm) aif@aif % pachctl...
今天的文章將接續昨天的內容，說明具體來說，如何透過 HPE MLDM 讓資料前處理工作自動化，以及使用內建的版控功能，管理大量資料與前處理程式。 實作 接著我們...
為什麼我們需要資料版本控制？ 在開發過程中，隨著時間的推移，團隊常常因為模型效能或其他考量，不斷更新訓練資料，最後累積出大量版本。想像一個情境：在增加一些訓練資...
最近看到一些文章討論【Math. for programmers】，談到程式設計師要具備的數學素養，尤其是AI盛行後，許多數學與統計學科開始影響我們，例如下圖：...
前言 hi~各位恭喜脫離了痛苦的前兩周 相信跟者學習的你，一定也有所收穫今天我會選標題這六大主題(excel處理、爬蟲、Powerbi整合、網頁應用程式、自動化...
在開發過程中，隨著時間的推移，團隊常常因為模型效能或其他考量，不斷更新訓練資料，最後累積出大量版本。想像一個情境：在增加一些訓練資料後，模型就訓練不起來了，這時...
部署時會用到的功能設計 部署時的功能主要就是要將模型推論的功能建立成 API 讓使用者或其他服務可以調用，這個部分與一般的 API 開發基本相同，開發團隊可以使...
自動化時會用到的功能設計 在完成一個模型後，也可以選擇是否要加入自動化利用新資料定期更新的功能，如果當前的專案還不需要這項功能，想要直接將模型部署上線，那麼就可...
在昨天的文章中，描述了機器學習開發專案的流程，大致可分成三個部分： 從資料處理到模型驗證的「開發」 將開發模型訓練做排程處理的「自動化」 將模型上線使用的「部...
其實，選擇套件並不是一件困難的事，無非就是根據需求、經費等因素考量後，按圖索驥選出適合團隊的工具而已。以下將簡單列舉挑選特定套件的原因，讀者可以根據團隊需求自由...
在設計 MLOps 系統時，主要會以開發團隊目前的機器學習專案開發流程為基礎，並以此設計系統。下圖是一般常見的模型開發流程，可以看到在取得原始資料後，會先做不同...
CDF 基金會 MLOps 小組的白皮書中不斷提到，MLOps is not "putting Jupyter Notebooks into prod...
iThome鐵人賽
看影片追技術
看更多
急速行駛
aif_tw
I code so I am
roni